人工智能如何助力便捷支付？端侧生鲜智能结算方案详解

近几年，随着“新零售”概念的火热，越来越多的商超零售企业开始引进人工智能技术，探索智能化升级来降本提效。生鲜零售作为民生消费的重要一环，在促进行业发展、催化新消费升级的进程中有着至关重要的作用。不同于其他品类，生鲜行业天然具备线下消费的偏好，顾客更愿意亲自挑选，但无休止的排队让很多人望而却步：打码需要排队，收银需要排队，挑菜10分钟，排队半小时。

然而不同于成品包装的商品，生鲜产品本身“无码可扫”；RFID 电子标签等方式所需的额外费用也难以长期承担；重量感应的方式不仅无法很好的区分同重的不同商品，由于隶属精密仪器，长时间的负重和使用过程中，还需要定期校准，再次产生附加成本。

因此，一种既能大规模支持各种商品识别，又能方便使用，同时维护成本不高的识别系统，显得尤为重要。

PP-ShiTuv2 实际识别效果

深圳市银歌云技术有限公司与百度飞桨基于图像分类开发套件 PaddleClas，联合开源了生鲜智能结算产业应用实践范例，将深度学习图像识别技术与传统结算流程结合，通过结算平台的摄像头拍摄的图像，自动的识别需要结算的商品，整个流程在1秒内完成，无需售卖人员的操作及称重，实现了精度高、速度快，无需人工干预的自动结算效果，减少人工成本的同时，大大提升了结算效率和用户体验。

此外本方案还提供了从数据准备、模型训练优化、相机选型、到硬件部署的全流程可复用方案，成为为生鲜零售行业的智能化升级的“样板间”。

🌟 所有源码及教程均已开源，欢迎大家使用，star 鼓励～ 🌟

https://github.com/PaddlePaddle/PaddleClas/blob/release/2.5/docs/zh_CN/samples/Fresh_Food_Recogniiton/README.md

 场景难点 

• 场景复杂度高

物体形状千差万别，如何找到待检测的商品？

• 数据相似度高

商品及生鲜品种类繁多，如何准备的识别出对应种类？

• 模型泛化性要求高

使用过程中，商品及生鲜品类迭代速度快，如何减少模型更新成本？

• 系统性能要求高

不仅要同时支持检测和识别两个任务，还需兼顾速度与精度？

 方案设计 

针对上述难点，经过对模型性能精度和速度的考虑，最终选用了飞桨图像分类套件 PaddleClas 开源的图像识别 PP-ShiTuv2 模型，并且使用飞桨端侧推理引擎 Paddle Lite 进行移动端部署。

同时，为满足商品识别场景需要兼顾扩展性的要求。在此方案中，只需训练一套模型，在之后的使用过程中，无需频繁重新训练模型，仅需要在检索库中，配置少量有代表性的新增产品图像，就能够很好的解决新增商品问题，同时也无需添加辅助设备，极大降低了维护及使用成本。更多方案细节交流，欢迎大家扫码加入技术交流群。

 模型优化策略和效果 

为了实现准确结算，获取清晰可靠的数据也十分重要。在这个过程中，首先要确保摄像头性能一致，同时还需要保持拍摄图像的视角统一。

此外为了适应快速迭代更新的类别，整个方案需要预先配置检索库。入库图像的标准及质量将直接影响后续模型进行相似度计算的准确率。本范例场景，采用了标准背景下的多角度图像入库，并定期针对新增类别的调优，最终实现了高达98%+的识别精度。

 部署方案 

部署方面使用端侧推理引擎 Paddle Lite 进行部署，满足用户批量推理、延迟低的需求，可快速在端侧设备完成部署方案。此外 PP-ShiTuv2 还支持单机部署和服务化部署，让用户可以根据实际业务场景需求灵活选择。

本次范例直播课程将包含场景拆解、数据处理、模型转换配置到部署的全流程讲解，欢迎小伙伴们关注直播。

 范例使用工具介绍 

PaddleClas 是一个提供了从数据处理、模型准备、模型优化、到预测部署全流程工具的图像分类开发套件。其中的轻量级图像识别模型 PP-ShiTu 更是综合了目标检测、图像分类、度量学习、图像检索等多重技术，能够完美解决小样本、高相似、多类别等产业落地难点，CPU 上仅需 0.2s 轻松识别十万类，而且十分简单易用，极大地降低开发门槛。

 精彩课程预告 

为了让小伙伴们更便捷地实践和应用智慧零售商品识别技术方案，百度高级研发工程师将于9月14日20:30为大家深度解析从数据准备、方案设计到模型优化部署的开发全流程，手把手教大家进行生鲜品识别落地的代码实践。

欢迎小伙伴们扫码进群，免费获取直播课和回放视频链接，更有机会获得覆盖智慧城市、工业制造、金融、互联网等行业的飞桨产业实践范例手册！也欢迎感兴趣的企业和开发者与我们联系，交流技术探讨合作。

⬇️扫码报名直播课，加入技术交流群⬇️